SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation
SPOT：在线策略蒸馏的稀疏探测与结果校准
🧭 在线策略蒸馏 · 稀疏探测与结果校准 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · East China Normal University · Beihang University · City University of Hong Kong
通过稀疏探测关键位置并利用下游结果校准蒸馏目标，在有限预算下提升推理模型多样解覆盖。
📌 工作参考价值（4 点）
- 稀疏探测+结果校准框架：在生成式推荐或对话Agent中，可在模型不确定性高且候选集紧凑的位置进行额外探索，利用下游业务指标（点击、转化）校准局部目标，替代全量教师监督。
- 位置重要性得分：使用公式 s_t = 归一化熵 × top-k概率质量 × 学生-教师gap 的连乘得分，作为触发多路采样的信号，可用于AIGC场景平衡生成质量与多样性。
- 指数倾斜校准：结果校准的封闭解（式10）提供了一种在保持KL约束下依奖励调整概率分布的方法，可应用于离线策略评估或A/B测试中的概率调整。
- 预算可控的工程化设计：探测位置数M、候选数k_p和每条候选续写数N_p均为显式超参数，便于在实践中根据延迟和成本进行权衡，仅对最有希望的候选展开额外推理。